骨肉瘤是最常见的原发性骨癌，其标准治疗包括术前化疗，然后切除。化学疗法反应用于预测患者的预后和进一步治疗。坏死在切除标本上的组织学幻灯片通常评估了坏死比定义为坏死肿瘤与总体肿瘤之比。已知坏死比> = 90％的患者的预后更好。多个载玻片对坏死比的手动微观综述是半定量性的，并且可能具有观察者间和观察者间的变异性。我们提出了一种基于目标和可再现的深度学习方法，以估计坏死比，并从扫描的苏木精和曙红全幻灯片图像预测结果。我们以3134个WSI的速度收集了103例骨肉瘤病例，以训练我们的深度学习模型，验证坏死比评估并评估结果预测。我们训练了深层多磁化网络，以分割多个组织亚型，包括生存的肿瘤和像素级中的坏死肿瘤，并计算来自多个WSI的病例级坏死比。我们显示了通过分割模型估算的坏死比，高度与由专家手动评估的病理报告中的坏死比高度相关，其中IV级的平均绝对差异（100％），III（> = 90％）和II（> = 50％和<50％和< 90％）坏死反应分别为4.4％，4.5％和17.8％。我们成功地对患者进行了分层，以预测P = 10^-6的总生存率，而P = 0.012的无进展生存率。我们没有可变性的可重现方法使我们能够调整截止阈值，特别是用于模型和数据集的截止阈值，为OS的80％，PFS为60％。我们的研究表明，深度学习可以支持病理学家作为一种客观的工具，可以分析组织学中骨肉瘤，以评估治疗反应并预测患者结果。
translated by 谷歌翻译
Contrastive learning has been successfully used for retrieval of semantically aligned sentences, but it often requires large batch sizes or careful engineering to work well. In this paper, we instead propose a generative model for learning multilingual text embeddings which can be used to retrieve or score sentence pairs. Our model operates on parallel data in $N$ languages and, through an approximation we introduce, efficiently encourages source separation in this multilingual setting, separating semantic information that is shared between translations from stylistic or language-specific variation. We show careful large-scale comparisons between contrastive and generation-based approaches for learning multilingual text embeddings, a comparison that has not been done to the best of our knowledge despite the popularity of these approaches. We evaluate this method on a suite of tasks including semantic similarity, bitext mining, and cross-lingual question retrieval -- the last of which we introduce in this paper. Overall, our Variational Multilingual Source-Separation Transformer (VMSST) model outperforms both a strong contrastive and generative baseline on these tasks.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
神经网络修剪可以有效地用于压缩自动语音识别（ASR）模型。但是，在多语言ASR中，执行语言不足的修剪可能会导致某些语言的严重性能降解，因为语言 - 敏捷的修剪口罩可能不符合所有语言，并丢弃了重要的语言特定参数。在这项工作中，我们提出了ASR路径，这是一种稀疏的多语言ASR模型，该模型激活了特定语言的子网络（“路径”），从而明确地学习了每种语言的参数。通过重叠的子网络，共享参数还可以通过联合多语言培训来实现较低资源语言的知识传输。我们提出了一种新型算法来学习ASR途径，并通过流式RNN-T模型评估了4种语言的建议方法。我们提出的ASR途径的表现都优于密集模型（平均-5.0％）和语言不足的修剪模型（平均-21.4％），并且与单语稀疏模型相比，低资源语言的性能更好。
translated by 谷歌翻译
最近，注意机制已成功应用于基于神经网络的说话者验证系统。将挤压和兴奋的块纳入卷积神经网络中的表现出色。但是，它使用全球平均池（GAP）简单地沿时间和频率维度平均功能，这无法在功能地图中保留足够的扬声器信息。在这项研究中，我们表明GAP是时间频域在数学上仅使用频率分解中最低频率分量的特殊情况。为了增强扬声器信息提取能力，我们建议利用多频信息，并设计两个新颖的有效注意模块，称为单频率单通道（SFSC）注意模块和多频单通道（MFSC）注意模块。提出的注意模块可以根据DCT有效地从多个频率组件中捕获更多扬声器信息。我们在Voxceleb数据集上进行了全面的实验，并对第148个UTD法医语料库进行了探测评估。实验结果表明，我们提出的SFSC和MFSC注意模块可以有效地产生更具歧视性的扬声器表示，并且优于RESNET34-SE和ECAPA-TDNN系统，而EER降低了20.9％和20.2％，而无需添加额外的网络参数。
translated by 谷歌翻译
自我监督的学习表示（SSLR）为许多领域的下游任务带来了强大的功能。最近，几个SSLR在自动语音识别（ASR）基准语料库中显示出令人鼓舞的结果。但是，以前的研究仅显示单独的SSLR作为ASR模型的输入功能。在这项研究中，我们建议使用端到端（E2E）ASR模型中的各种融合方法研究不同SSLR组合的有效性。此外，我们将显示这些提取的SSLR之间存在相关性。因此，我们进一步提出了去相关的特征细化损失，以有效地结合输入特征集。为了进行评估，我们表明，提议的“无所畏惧的学习功能”的性能要比系统更好，而无需为WSJ和无畏步骤挑战（FSC）语料库提出的功能完善损失。
translated by 谷歌翻译
置换不变的神经网络是从集合进行预测的有前途的工具。但是，我们表明，现有的置换式体系结构，深度集和固定的变压器可能会在深度时消失或爆炸。此外，层规范（SET变压器中选择的归一化）可能会通过删除对预测有用的信息来损害性能。为了解决这些问题，我们介绍了白皮剩余连接的干净路径原理，并开发了设置规范，这是针对集合量身定制的标准化。有了这些，我们构建了Deep Sets ++和SET Transformer ++，该模型比其在各种任务套件上的原始配对品具有可比性或更好的性能。我们还引入了Flow-RBC，这是一种新的单细胞数据集和置换不变预测的现实应用。我们在此处开放数据和代码：https：//github.com/rajesh-lab/deep_permunt_invariant。
translated by 谷歌翻译
在不完整的数据集中对样本进行分类是机器学习从业人员的普遍目的，但并非平凡。在大多数现实世界数据集中发现缺失的数据，这些缺失值通常是使用已建立的方法估算的，然后进行分类现在完成，估算的样本。然后，机器学习研究人员的重点是优化下游分类性能。在这项研究中，我们强调必须考虑插补的质量。我们展示了如何评估质量的常用措施有缺陷，并提出了一类新的差异评分，这些分数着重于该方法重新创建数据的整体分布的程度。总而言之，我们强调了使用不良数据训练的分类器模型的可解释性损害。
translated by 谷歌翻译
当前的领先错误发音检测和诊断（MDD）系统通过端到端音素识别实现有希望的性能。这种端到端解决方案的一个挑战是在自然L2语音上缺乏人类注销的音素。在这项工作中，我们通过伪标记（PL）程序利用未标记的L2语音，并扩展基于预先训练的自我监督学习（SSL）模型的微调方法。具体而言，我们使用WAV2VEC 2.0作为我们的SSL模型，并使用原始标记的L2语音样本以及创建的伪标记的L2语音样本进行微调。我们的伪标签是动态的，是由在线模型的合奏生成的，这确保了我们的模型对伪标签的噪声具有强大的功能。我们表明，使用伪标签进行微调可实现5.35％的音素错误率降低和2.48％的MDD F1得分在仅标签样本的基线基线。提出的PL方法还显示出优于常规的离线PL方法。与最先进的MDD系统相比，我们的MDD解决方案会产生更准确，一致的语音误差诊断。此外，我们对单独的UTD-4ACCENTS数据集进行了开放测试，在该数据集中，我们的系统识别输出基于重音和清晰度，与人类感知有着密切的相关性。
translated by 谷歌翻译
概率模型告知越来越广泛的商业和政策决策最终是人们的。最近的算法，计算和软件框架开发进步促进了贝叶斯概率模型的扩散，其通过其联合分布而不是点估计来表征未观察的参数。虽然他们可以授权决策者探索复杂的查询并在理论上执行什么样式的调理，因此需要适当的可视化和交互式工具来最大化用户的理解和理性决策在不确定性下。在本文中，提出了一种对贝叶斯模型的定量评估的协议，并引入实现该协议的软件框架，以支持评估实践中的标准化，并促进再现性。我们说明了对用户学习的评估和分析工作流程，探讨了制作Boxpots和假设结果情节互动可以增加理解或合理性，并在未来寻求进行类似研究的研究人员的设计指导方针得出。
translated by 谷歌翻译